AI Papers Daily

#Multilingual Reasoning

4 篇

Which Language Should a Skeleton Speak? Language Choices in Multilingual Reasoning

骨架应该说什么语言？多语言推理中的语言选择

🧭 LLM 多语言推理 · 提示骨架语言选择

ETRI · KAIST · Dankook University

系统研究多语言数学推理中骨架提示语言选择，发现英语骨架平均微小正向但非普遍最优，效应依赖语境

📌 工作参考价值（4 点）

• 多语言业务中若用结构化推理骨架（如多步 agent 的思考模板），默认英语骨架可作为 baseline，但必须按语言分桶评估；平均收益可能由低资源语言/小模型驱动，不能直接全量推广。
• 将语言选择纳入 prompt 实验矩阵：不同骨架语言的效果存在方向一致、评估/基准依赖、不对称负效应，因此需要 multi-rollout + translation ablation 隔离语言变量，避免单次 greedy 结果误判。
• 对低资源语言，如果训练额外的多语言推理模型成本高，可优先用英语骨架做训练免推理引导；但要警惕对某些语言产生负效应，发布前做显著性校正。
• 工程上可复用其开源 LASEF 框架，构建多语言骨架版本管理、评估流水线，尤其适合跨境电商搜索/推荐场景的多语言 query 理解与 agent 推理。

Reasoning | 2026-10-06 | HF Daily | score 6/10

Skeleton-based PromptingMultilingual ReasoningLLMTraining-freeMath ReasoningLanguage Selection

RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer

推理枢轴引导的在线策略自蒸馏实现多语言推理迁移

🧭 训练策略 · 推理枢轴引导 ★ 深度解读

National Key Laboratory for Novel Software Technology, Nanjing University

通过对比有无英文参考解答的教师分布，定位推理枢轴并引导特权蒸馏，提升多语言数学推理能力

📌 工作参考价值（4 点）

• 关键 token 定位：在序列生成任务（如推荐理由、搜索 query 改写、商品摘要）中，可利用两个视图（有无特权上下文）的分布差异，自动识别影响下游推理/决策的关键 token，不必依赖人工标注。
• 蒸馏权重分配：借鉴 PRS 得分与 RPT 门控，在模型蒸馏时将监督信号集中到“推理枢轴”token（如逻辑连词、状态更新词），避免在表面填充词上浪费容量，提升跨领域迁移效率。
• 语言风格锚定：引入冻结参考策略进行锚定损失，可在多语言推荐或广告文案生成中，既注入外部知识（如英文产品描述）又不破坏目标语言的流畅度，缓解 RL 或蒸馏带来的语言退化。
• 训练稳定性：门控分数来自同一模型的两个视图对比，无需额外教师网络，且运行时统计归一化适应不同训练阶段，可降低工程部署复杂度，适合在线蒸馏场景。

Training | 2026-08-06 | cs.CL | score 8/10

Multilingual ReasoningOn-Policy Self-DistillationReasoning PivotKnowledge DistillationCross-lingual TransferToken-Level Gating

On-Policy Delta Distillation for Multilingual Math Reasoning

面向多语言数学推理的在线策略增量蒸馏

🧭 LLM 后训练 · 多语言蒸馏

NAVER AI Lab

提出 On-Policy Delta Distillation (OPD^2)，用教师模型与基模型的概率差作为学习信号，在多语言数学推理上优于 OPD

📌 工作参考价值（4 点）

• Delta 信号可引入推荐 Agent 训练：电商搜索/推荐中，若已有强监督教师模型（如大模型生成的推理路径），可直接使用 OPD^2 的 delta 蒸馏技巧（教师 vs 基模型概率差）替代传统 RL，训练轻量 Agent，提升token级反馈效率。
• 多语言场景可用单语数据提升跨语言性能：实验表明英语蒸馏可泛化到韩语/日语，但需防语言漂移。类似地，若以英语搜索日志训练问答Agent，需混合目标语言数据保持语言一致性。
• 在线采样+教师反馈框架适合动态数据流：推荐系统常面临分布漂移，OPD 的在线策略生成思想可迁移至用户反馈动态更新下的模型滚动训练，用当前模型生成样本再让教师打分，提升样本利用率。
• 概率差作为学习信号可借鉴至对比学习：电商搜索中，正负样本概率差可类似 OPD^2 构造细粒度标签，训练学生模型区分优劣结果，尤其适合 beam search 中的候选排序。

Training | 2026-08-05 | HF Daily | score 7/10

On-Policy DistillationMultilingual ReasoningDelta DistillationLLM Post-trainingQwen3

Enhancing Multilingual Reasoning via Steerable Model Merging

通过可操控模型合并增强多语言推理

🧭 可操控模型合并 · 多语言推理

Beijing University of Posts and Telecommunications · Fudan University · Beihang University · Monash University · Zhongguancun Laboratory

提出可操控模型合并（ST-Merge），用门控交叉注意力动态调整多语言与推理模型的贡献，解决多语言推理中的模型冲突

📌 工作参考价值（4 点）

• 在多语言业务（如跨境电商客服、多语言商品描述生成）中，可通过模型合并将领域模型与推理模型结合，避免独立部署多个模型，降低推理成本。
• 门控交叉注意力机制可迁移至多专家模型集成，例如在推荐系统中融合用户理解模型和知识推理模型，根据请求内容动态分配权重。
• 低资源语言表现提升明显：若业务需快速扩展小语种支持，可借助本方法合并已有高性能模型，减少微调数据需求。
• 模型合并替代 pipeline 调用，能减少延迟与计算开销，适合对实时性要求高的 Agent 推理链路。

LLM | 2026-06-17 | cs.CL | score 7/10

Model MergingMultilingual ReasoningGated Cross-AttentionSteerableLLM